Мониторинг черных. 
ящиков и котов 
в мешке через еВРЕ 


Пётр Бобров 


‚(Нери Сам | 
м 


Специализация 

* ВМК МГУ ' 1999 

* 2Олетв ДБА 

* 85 летв ОВАСЕЕ 
Пётр Бобров 


. ВОТМТ — менеджер 
он же Дядя Петя 


по отказоустойчивости 


* Управляю бэклогом 
команды Зке ВейаЫКу 
Епатеейпя 


Сами | ним" 


ПО других поставщиков 


Автоматизированная банковская система 


|... Процессинг банковских карт 


7 Системы дистанционного обслуживания 


Сами | ним" 


Системное ПО других поставщиков 
Ф: Системы Управления 

Базами Данных 
|4 Операционные Системы 


Сам | ним" 


Проблемы мониторинга 
стороннего ПО 


Беспорядочное 


Отсутствие АРТ логирование 
и интерфейсов 
для метрик 


Лицензионные 
ограничения 


Сами | ним" 


История про карточный процессинг 


СУБД работает 

в режиме синхронного коммита 
для защиты от потери данных 
при различных обоях 


За синхронный коммит 
расплачиваемся задержками 
обработки 


Сами | (нем 


Архитектура синхронного коммита 
Огасе в карточном процессинге 


ОСНОВНАЯ БА. 


| 


РЕЗЕРВНАЯ БА 


1 


р Сами | ним" 


Архитектура синхронного коммита 


Огасе в карточном процессинге 
поток 
ТРАНЗАКЦИЙ 


| 


ОСНОВНАЯ БА. 


| 


РЕЗЕРВНАЯ БА 


1 


р Сами | ним" 


Архитектура синхронного коммита 


Огасе в карточном процессинге 
поток 
ТРАНЗАКЦИЙ 


| 


РЕЗЕРВНАЯ БА 


1 


р Сами | к нимем" 


(1 \ 
ры БА ЕЕЕ 


Архитектура синхронного коммита 


Огасе в карточном процессинге 
поток 
ТРАНЗАКЦИЙ 


| 1 


т 
ОСНОВНАЯ БА. Е Е) Е) ' ей БА 
| р 


р Сами | ним" 


Архитектура синхронного коммита 


Огасе в карточном процессинге 
поток 
ТРАНЗАКЦИЙ 


| 1 


1\ 
ЕЕ РЕЗЕРВНАЯ БА 
1 


р Сами | (в нимь" 


ИЯ 
ея 5А Е] Е) Е) ' 


Архитектура синхронного коммита 


Огасе в карточном процессинге 
поток 
ТРАНЗАКЦИЙ 


| 1 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
ея 5А Е Е) Е) ' 


Какие решения можно принять 


ЗУ 
РЕЗЕРВНАЯ БА 


ОСНОВНАЯ БА 


ЗЕВЕРВНАЯ БА 


Сами | ним" 


Какие решения можно принять 


я РЕЗЕРВНАЯ БА 


ОСНОВНАЯ БА 


ЗЕВЕРВНАЯ БА 


Сами | ним" 


Какие решения можно принять 


ЗУ 
РЕЗЕРВНАЯ БА 


ОСНОВНАЯ БА 


ЗЕВЕРВНАЯ БА 


Сами | ним" 


Какие решения можно принять 


я РЕЗЕРВНАЯ БА 


ОСНОВНАЯ БА 


РЕЗЕРВНАЯ БА 


Сам | ним" 


Какие решения можно принять 


РЕЗЕРВНАЯ БА 
ис Азис 


РЕЗЕРВНАЯ БА 


ОСНОВНАЯ БА Сам | не 


Что влияет на принятие решения 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
о 5А Е Е) Е) ' 


Что влияет на принятие решения 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
о 5А Е Е) Е) ' 


Что влияет на принятие решения 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
о 5А Е Е) Е) ' 


Что влияет на принятие решения 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
о 5А Е Е) Е) ' 


Что влияет на принятие решения 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
о 5А Е Е) Е) ' 


Средняя температура по больнице 


Сами | $) вечен 


Средняя температура по больнице 


1мс * 10000 +1с*10 


пикиееяяееееннннкее #52 мо 


10000 +10 


Сами | (воем 


История про карточный процессинг 


Хочу знать длительность 
каждой дисковой операции 
и каждой сетевой операции 


Сам | к нимеы" 


Подсистема еВРЕ 
выполняет в ядре Мпих 
пользовательский код 
защищенным способом 


Было 


Стало 


А 'пдех : КетпеИдИЛогуа!9Лтих.9й 
р 


(и нена 


01 
Виртуальный 
АТЗСпроцессор 


Свой соботвенный набор 
команд включая 


загрузку/выгрузку памяти. 


Функции, сравнения, 
условные переходы 
Описан в исходниках 
ядра вор» 


Имеет стеки И 
64х.битных 
регистров. 

112 байт отека. 


Чвсть регистров, 
передаются между 
программами как 
параметры функций. 
авть — только для чтения 


Вней запрещена 
прямая адресация № 
памяти ИВ 
регистры могутуказывать 

настек но не напрямые. 

`вареса памяти 


работа о фиксированными. 
‘структурами памяти — 
контекст парвитя — 
входят в набор 

команд машины. 


еВРЕ-программы — похожи 
на триггеры в БД, но вызываются 


на какое-то событие в Мпих 


Это. вообще, еВРЕ.код проверяет 
безопасно? опециальным вериф 


Будетли, 
оверхед? 


Как обращаться 
крезультатам? 


Основные точки вызова 
еВРЕ-программ 


Кегпе! ргоев Ивег ргоБев. 


Тгасеройтев рег! емегез 
Е ыно помеченной' Доступ к очетч 
сировочный вызов 


(р немьна 


Как это работает: в указанной точке 
появляется инструкция 


Обычный код Прицепим еВРЕ: 
трогать коде лы лее: 

порога саде лено обороны < 

Ооо а рый м омообооооромянек <>: ри ино 

ОЫ0ОООСООООбАван <#>: ри вр гооооооообмный <>! риа Аня 

ОнобОббобОббвьгь 35. рыб Ни гообооооооманяя <>, рив ня 

о и ео 

о 

омороборобощ <: пой изв очи) Омообобоооощвьы <>: поз зы БОННИ) 

ОНО0ОббОбО0бваньв 2: ки’ Че еше ОНоОбОбоОббвныьв 2425. во’ аш Зв 


Сами | (ничем 


Главные операционные риски 


Безопасность Совместимость 


(к) ные 


Как сделать 
мониторинг, 
если я менеджер 


Поиск подходящих точек 
для мониторинга 


План 
аналогичного Поиск существующего 
проекта 


еВРЕ-кода 


РгооГо! Сопсер" 


Интеграция 
с корпоративными системами 


бон 


Поиск точек для мониторинга 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
са 5А Е] Е) Е] ' 


Событие записи блока на диск в 


основном ЦОД 
поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Я 
а 5А Е] Е) Е] ' 


Событие передачи пакета по сети 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
са 5А Е] Е) Е] ' 


Событие записи блока на диск в 
резервном ЦОД 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
а 5А Е] Е) Е) ' 


Хочу измерять все эти события! 


поток 
ТРАНЗАКЦИЙ 


РЕЗЕРВНАЯ БА 


1 


р Сами | (в нимем" 


Г 
са 5А Е] Е) Е] ' 


Коллекция готовых программ ВСС 


1оМвонЕВУБло/Ьсс/ 


всс 


упатс тата Тод ог Или 


Коллекция готовых программ ВСС 
Рук Т/О Гакепсу Нзоргат 


Вырилисх 
вена БЫК вечсв 3/0... Ва СЫ-С ко та 


| 
| 
Н 
Сами | (воем 


еВРЕ-программа: области памяти 


ЕНВОБ.сот/Ломвог/Ьсс/ЫоБ/тазхег/хоо!в//оагепсу.ру 


в ввРРпрогранина на С пишется в тенстовую переменную РИвоп 


знпсыде <изр/Шпик/риасе> 
злее «лшиЫтоьь> 


зуредег алое ке { 
баг БОК МАМЕЛЕМ; 
иванов 

Ук ву 5 


РЕ НАЗНЦзиИ, эмиатедшех:*);— # © определяется структура памяти для внутреннего использования 


Сами | (нем 


еВРЕ-программа: собственно, код 


ЕНВОБ.сот/омвог/Ьсс/ЫоБ/тазтег/хоо!в/Ь/оагепсу.ру 


ЗТОВАбЕ 
Песв_ пед запели р. гебс "с, лис гедшен *геб) & © тутпервая функция евРР-кода 
[ 
бань БЕ ае_ ве п) 

‘аиьирааиа(алец, 815}; 

тевит 0; 
В 
Чнклгосв пед _фопе(илиер перя "с члиаледшене “ге & Е тутвторзя функция еВРЕ-кода 
‹ 

164 р, вена; 

Плеве театр зла сабсиаке вена 

‘вре маилоокир(атеа) 

Нар == 04 

табл О; // зе ше 


} 


Сами | (ничем 


еВРЕ-программа: собственно, код 2 


ЕНВОБ.сот/омвог/Ьсс/ЫоБ/тазтег/хоо!в//оагепсу.ру 


аа = Бр ауте вез - "р; 


Г чоке а Бовгагт 
ТОНЕ 


‘амьдойене( але; 
тевит 0; 


'ВРЕ_НБТОбВАМНЫЯ, ЧЕК _Кеу 
Е пстетепЦБрЕ Лов2ЦваИз] 


реж = Бр лекьгераса('5ТОВАСЕ", зтогаве_ 5) 
рЕ-деж = БГ Лекегерасе("5ТОЯЕ", ге _ 50 


# < определение “анешней" струуры памяти. 
# < исе заполнение результатом работы: 


# < тугсама еврЕ- программа на С заканчивается 


Сам 


Г) Нуньоаа" 


еВРЕ-программа: аттач к событию 


ЕНВОБ. сот/омвог/Ьсс/ЫоБ/тазтег/хоо!в/Ь/оагепсу.ру 


#1038 ВРЕ рговгат 


# © тутовРЕ-программа компилируется 


НН ВРЕ.веЕ_Кргое Гипедопы,__Ы_зссоште 10_маге}: 


Бамасй_Кргоьеемете=”__Б\_ассошти 10 _ват" 17 _патоезт“гзсе гед_9ач") — И пачки функции 
ак: 
Ъ.анас®_кргоьеемеле="Ь_вссошот 10_звы 
све: 
НВРЕ. вет _когое_КипеновЬ К ват: ледшезе} 
Бамасй_Кргобвемепе="ЬВ_ чат _гедиеч!", п _патес“Чгасе _гед_зва 


эсе_гед_ зат 


тасе_гед_Чопе") 


асе. ‹еа_доте") 


Сами | (ничем 


еВРЕ-программа: вывод результата 


ЕНВОБ.сот/омвог/Ьсс/ЫоБ/тазтег/хоо!в/Ь/оагепсуру 
виза саььсаь") = # © тучитаем "ьнешною”, заполненную программой, область памяти 


ние (1): 
ву 
‘Чеерик(алездивегуа) 
оксере Кеубоагаиетирь 
вов =1 


Быль Лод _НЦЬБЫ, "ак", ЧК. рн # © тутвыводим отформатированный результат 


дев) 


соштивон +=. 
Недав ог солафоцит 
0 


Сами | (нем 


Итак, я нашёл то, что мне нужно 
ЕКВИБ.сотЛомвог/ьсс/ЬюБ/тазкег/хоо!в/го!акепсу.ру 


вышине 
рава БЫК вичсв 5/0... ва СЫ-С ко та 


Сами | (ниче 


Что мне надо изменить в этом коде? 


Мне надо поменять функцию рипетак, чтобы 
вместо вывода в консоль сформировать 
строку по правилам сервиса {е!евга! и 
отправлять эту строку в сервис {е[ерга{ 

по протоколу НИр 


Сами | (нем 


Вопросы по Ру{Поп, 
решенные поиском 


Как вывести в буфер вместо ЧоцЕ 


Как добавить метод к классу в другом файле — «топкеу раков» 


Как написать функцию 
Как записать буфер по Нир 


Как разобрать 1Р-адрес 


Сами | (ничем 


Как мне запускать программу 
автоматически на всех серверах? 


Мне надо создать Ипих-сервис, 
управляемый зузетсЧ, написать для него 
модуль в рирре* замерджить в репозиторий 
и массово распространить. 


Сами | (нем 


Вопросы по зпе!-скриптам, риррее 
и зузкетсЧ, решенные поиском 


Как написать в Мпих зузета-талавед-сервис 
Как правильно написать модуль в риррее 


Как правильно написать в уат! многострочные 
параметры для Нега 


Как выводить результаты в лог-файл, не блокируя доступ 
кнему 


Как правильно пользоваться ЕЙ в рабочем процессе, 
в основном РЁ ГетсН -- а! 55 ВИ гезе! --Нага 
Сам 


НЕ) Нинысаа" 


Как мне получить красивые графики, 
по которым можно принимать решения? 


Мне надо визуализировать сетевые и 
‘дисковые задержки с помощью Неа{Мар 
и показать такие Неа{Мар для всех ЦОД, 
на одной странице 


Сами | ним" 


Как устроен Неа*Мар 


Вопросы по =гагапа, 
решенные поиском 


Как делать дропдаун-параметры в дашборде 
Как правильно сделать НегиМар 

Как правильно агрегировать измерения / метки на РготОЕ 
Какой еще информации не хватает на дашике 


Как правильно описать методику использования дашиков 
для принятия решений 


Сами | (ничем 


Что получилось в конце концов 


Обратная связь 
и комментарии 
по докладу по ссылке 


Но) Ненова (С) ам 


